Khi Chiến tranh Đông Dương bùng nổ năm 1946, ông tham gia công tác quân sự. Từ 1945 đến 1950, là trung đoàn phó rồi trung đoàn trưởng các trung đoàn: Sơn La, Sơn Tây, quyền khu trưởng Khu XIV, khu phó Liên khu X. Khi Quân đội nhân dân Việt Nam thành lập các đại đoàn chủ lực, ông trở thành Đại đoàn trưởng đầu tiên của đại đoàn 312-đại đoàn Chiến thắng (nay là Sư đoàn) ở tuổi 36. Trong trận Điện Biên Phủ, đại đoàn 312 do ông chỉ huy đã đánh trận mở màn vào cao điểm Him Lam (13 tháng 3 năm 1954) và kết thúc chiến dịch vào ngày 7 tháng 5 năm 1954, bắt sống tướng Christian de Castries và ban chỉ huy tập đoàn cứ điểm.

• Từ tháng 12 năm 1954 đến năm 1960 ông là Hiệu trưởng Trường Sĩ quan Lục quân. Năm 1959, ông được phong hàm Đại tá.
• Từ tháng 3 năm 1961 đến năm 1969 là Phó Tổng Tham mưu trưởng Quân đội nhân dân Việt Nam. Năm 1964, tướng Lê Trọng Tấn nhận nhiệm vụ Phó tư lệnh Quân Giải phóng miền Nam, Uỷ viên Quân uỷ Miền với bí danh Ba Long. Ông chính là một trong những người tham gia tổ chức chiến dịch Mậu Thân 1968 cùng với Hoàng Văn Thái
• Năm 1970 - 1979, ông là Phó Tổng Tham mưu trưởng Quân đội nhân dân Việt Nam kiêm Tư lệnh Mặt trận Đường 9, đặc phái viên Bộ tổng tư lệnh QĐND VN bên cạnh Bộ chỉ huy QGP nhân dân Lào, tham gia chỉ đạo chiến dịch Cánh Đồng Chum.
• Năm 1972, ông được cử làm Tư lệnh Chiến dịch Trị Thiên.
• Năm 1973, là Phó Tổng Tham mưu trưởng kiêm Tư lệnh Quân đoàn I Quyết thắng, quân đoàn đầu tiên của Quân đội nhân dân Việt Nam.
• Tháng 3 năm 1975, ông làm Tư lệnh Chiến dịch Huế – Đà Nẵng.
• Tháng 4 năm 1975, ông được cử làm Phó Tư lệnh chiến dịch Hồ Chí Minh kiêm Tư lệnh cánh quân phía đông (gồm quân đoàn 2, quân đoàn 4, sư đoàn 3) tấn công vào Sài Gòn. Chính Lữ đoàn xe tăng 203, quân đoàn 2 thuộc cánh quân của ông đã tiến vào dinh Độc Lập đầu tiên.
• Từ năm 1976 đến tháng 2 năm 1977 ông là Phó Tổng Tham mưu trưởng kiêm Viện trưởng Học viện quân sự cao cấp.
• Từ tháng 12 năm 1978 đến tháng 2 năm 1979 ông chỉ huy các lực lượng vũ trang trong chiến tranh biên giới Tây Nam và đánh quân Khmer Đỏ của Pol Pot ở Campuchia.
• Từ năm 1980 đến năm 1986 ông là Thứ trưởng Bộ Quốc phòng kiêm Tổng Tham mưu trưởng QĐND VN[3].
• Theo kết quả bầu chọn tại Đại hội Toàn quân để bầu sĩ quan cao cấp tham dự Đại hội Đảng VI, Đại tướng Võ Nguyên Giáp và ông đứng đầu danh sách 77 người tham dự Đại hội Đảng của Bộ Quốc phòng. Trong khi đó, Văn Tiến Dũng, Đặng Vũ Hiệp, Lê Ngọc Hiền không lọt vào danh sách này
• Ngày 5 tháng 12 năm 1986 ông mất tại Hà Nội. Ngay trước Đại hội lần thứ sáu của Đảng, mà nhiều người đồn rằng rất có thể ông sẽ nhậm chức Bộ trưởng Bộ Quốc phòng.

Ông là Ủy viên Ban chấp hành Trung ương Đảng khóa IV và V (từ 1976 đến 1986), đại biểu Quốc hội khóa VII.